Ivan Bagramian là con trai của một công nhân đường sắt người Armenia tên là Khachatur Bagramyan, ông sinh ra tại làng Chardakhlu gần thành phố Yelizavetpol thuộc Đế quốc Nga (sau này đổi tên là Kirovabad rồi Ganja thuộc Azerbaijan). Hamazasp Babadjanyan, một nguyên soái lực lượng thiết giáp Xô viết, cũng là người làng này.

Bagramian dự định tiếp tục theo nghề đường sắt của cha, sau khi học hai năm tại Yelizavetpol ông đăng ký vào một viện kỹ thuật đường sắt tại Tiflis, Gruzia và trở thành một thợ máy tàu hỏa[1].